วัดที่ชาวบ้านนิยมเรียกกันว่า “วัดเหล” มีความเกี่ยวพันกับประวัติความเป็นมาของเมืองตะโกลาซึ่งเชื่อกันว่า คือชื่อเดิมของเมืองตะกั่วป่า โดยเฉพาะอย่างยิ่งหลักฐานที่ระบุถึงการเผยแผ่วัฒนธรรมของอินเดียมาสู่ภูมิภาคนี้ จากวัตถุโบราณมากมายที่ค้นพบ โดยเทวรูปจำลองของพระนารายณ์ พระลักษมณ์ และนางสีดา ที่ถือเป็นหลักฐานทางประวัติศาสตร์ชิ้นสำคัญเลยทีเดียว